Ngày 2 tháng 12 năm 1974, ông Phạm Duy Khiêm tự kết liễu đời mình tại nhà riêng ở nông trại La Hertaudrie, thuộc quận Montreuil le Henri, vùng Sarthe, cách Paris hơn 200 km, như ông đã nghĩ từ hồi còn trẻ:

Ta phải biện minh sự hiện diện của ta trên cõi đời này (il faut justifier sa présence sur cette terre).

Tính cách

Đối với gia đình, Phạm Duy Khiêm là người anh cả lạnh lùng và nghiêm khắc, một người chủ gia đình thực sự. Nhạc sĩ Phạm Duy nhớ lại trong hồi ký của ông: "Lúc còn bé, nếu tôi nhớ không lầm, tôi chỉ được đùa chơi với anh Khiêm có hai lần" và "Bây giờ sống chung với người anh, tôi không được đánh đàn. Muốn đàn ca phải chờ khi anh ấy vắng nhà. Có lần quá cao hứng nên không đề cao cảnh giác, người anh chợt về, giật cái đàn mandoline vứt xuống đất và thân tặng nhạc sĩ mầm non một trận đòn. Một lần khác, vào mùa hè, tôi đang nằm trên nền nhà đá hoa để hưởng cái mát dịu, anh Khiêm ở đâu về, sồng sộc tới chỗ tôi nằm, nắm cổ lôi dậy, phạt tôi quỳ trước sự ngạc nhiên của mẹ tôi: Ai cho mày nằm dưới đất? Quỳ xuống đó!" (Hồi ký Phạm Duy, trang 129).

Ở trường học, Phạm Duy Khiêm là một người thầy khắt khe. Với những học trò dốt, ông không ngần ngại cho điểm âm. Học trò người Việt oán vì thầy không nâng đỡ người Việt. Học trò người Pháp căm giận vì bị một người thầy bản xứ sỉ nhục. Việc Phạm Duy Khiêm tự nguyện đi lính cho Pháp trong Chiến tranh thế giới thứ hai cũng là một hành động khó hiểu.

Khi làm chính trị, nhận chức vụ đại sứ của chính quyền Việt Nam Cộng hòa, Phạm Duy Khiêm hết sức ngay thẳng, không sợ mọi áp lực cửa quyền. Đó được cho là lý do khiến ông không làm đại sứ cho ông Ngô Đình Diệm được lâu. Sau này, khi Georges Pompidou lên làm tổng thống Pháp, ngỏ ý muốn gặp, Phạm Duy Khiêm thẳng thắng trả lời: rất vui mừng gặp lại bạn học cũ, nhưng đến yết kiến tổng thống thì không! Khi Léopold Senghor, tổng thống Sénégal, một người bạn học cũ khác, cũng là một nhà thơ nổi tiếng, gửi tặng một tập thơ, Phạm Duy Khiêm gửi trả lại với những lời phê, gạch đỏ, của một người thầy.

Đánh giá về tính cách Phạm Duy Khiêm, Thụy Khuê viết:

Đó là một người không chống ai, chỉ chống bất công và áp bức. Coi rẻ tiền tài và quyền lực. Liêm khiết, thẳng thắng, khó với mình và khó với người. Yêu nước và có trách nhiệm với gia đình. Vỏ ngoài cứng rắn bao bọc một nội tâm mềm yếu, vô cùng nhạy cảm và suốt đời cô đơn. Chán đời từ thời còn trẻ, hấp thụ trọn vẹn hai nền văn hóa Đông Tây, rất Khổng Mạnh trong nghĩa chính nhân quân tử, nhưng cũng lại rất Tây phương trong tư tưởng và hành động.